理論學習
語言模型的基本概念：
語言模型（Language Model）： 是一種能夠理解和生成自然語言文本的模型。它通過學習大量文本資料來預測詞語的出現概率，從而生成連貫的文本。
兩種常見的語言模型：
自迴歸模型（Autoregressive Models）：如GPT，通過逐詞預測下一個詞的概率來生成文本，適合於創作、對話等場景。
自編碼模型（Autoencoding Models）：如BERT，通過隱含表示來預測被隱藏的詞語，用於語意理解和分類等任務。

GPT模型介紹
GPT（Generative Pre-trained Transformer）： 是一種自迴歸模型，通過大規模預訓練和小規模微調來進行文本生成。
GPT的結構：
Transformer架構：基於多頭自注意力機制，能夠同時關注文本中的不同部分，提高模型的理解和生成能力。
預訓練與微調：學習大量通用知識，微調階段根據具體任務調整，如翻譯。

語言模型的挑戰與局限性
上下文理解：雖然語言模型在短期上下文中表現良好，但在長期上下文理解上仍困難。
偏見與倫理問題：語言模型可能會學習到訓練數據中的偏見，在生成內容中反映出不當的言論。
計算資源需求高：大型語言模型的訓練和推理需要大量的計算資源和存儲空間。